Năm 1925, Không quân Xô viết đặt vấn đề TsAGI với yêu cầu một loại máy bay ném bom hạng nặng có công suất máy lên tới 2.000 PS (1.970 hp) và có dùng được cả càng và bánh đáp. Phòng thiết kế Tupolev đã bắt đầu công việc thiết kế vào năm 1926 với yêu cầu của chính phủ đạt tới giai đoạn hoạt động năm 1929.[1] Tupolev TB-1 đã được lấy làm mẫu thiết kế căn bản và chiếc máy bay ban đầu sử dụng các động cơ Curtiss V-1570"Conqueror"với sức mạnh 600 PS (590 hp) mỗi chiếc, và dự định chuyển sang dùng loại động cơ Mikulin M-17 (phiên bản BMW VI sửa đổi) khi sản xuất hàng loạt.[1] Mô hình được phê chuẩn ngày 21 tháng 3 năm 1930 và nguyên mẫu đầu tiên được hoàn thành ngày 31 tháng 10 năm 1930. Chiếc máy bay cất cánh ngày 22 tháng 12 năm 1930, phi công điều khiển là Mikhail Gromov với bánh đáp kiểu ván trượt.[1] Ngày 20 tháng 2 năm 1931, Không quân Xô viết phê chuẩn việc sản xuất hàng loạt ANT-6 với các động cơ M-17.

Nguyên mẫu được trang bị các động cơ BMW VIz 500, công suất 730 PS (720 hp) mỗi chiếc, bộ tản nhiệt lớn hơn và các cánh quạt gỗ theo thiết kế của TsAGI. Bộ bánh đáp đơn dường như quá yếu và đã được thay thế bằng bộ bánh đúp thẳng hàng cỡ lốp 1350×300 mm (53×12 in).[1] Nguyên mẫu tiền sản xuất đầu tiên TB-3-4M-17 cất cánh ngày 4 tháng 1 năm 1932 với phi công điều khiển là A. B. Yumashev và I. F. Petrov. Không may thay, những chiếc máy bay chế tạo hàng loạt sau đó lại nặng hơn từ 10 tới 12% so với nguyên mẫu, gây ảnh hưởng lớn tới tính năng thao diễn.[1] Sự sai lệch này có nguyên nhân từ dung sai quá lớn của vật liệu khiến các tấm thép, ống thép và các hệ thống dây dẫn đều dày hơn nhiều so với vật liệu trên chiếc nguyên mẫu được chế tạo cẩn thận hơn. Chiếc máy bay này cũng được sơn rất sơ sài với một lớp sơn nguỵ trang dày.[1] Các nhà máy đã yêu cầu công nhân đưa ra sáng kiến giúp giảm bớt trọng lượng, treo phần thưởng 100 rouble cho mỗi kilôgam (2.2 pound) giảm được khỏi máy bay. Cùng với những nỗ lực từ phòng thiết kế, trọng lượng giảm được lên tới 800 kg (1.765 lb). Dù vậy, mỗi chiếc máy bay được chế tạo ra vẫn có thể có trọng lượng khác biệt so với những chiếc khác tới vài trăm cân.[1]

Năm 1933, một chiếc TB-3-4M-17F đã được sắp xếp hợp lý hoá, bỏ các tháp pháo và mấu giữ bom, tấm phủ tất cả các khe hở, và lắp tấm che bánh. Nỗ lực này chỉ giúp máy bay tăng được 4.5% tốc độ tối đa và tầm hoạt động. Tupolev kết luận rằng việc sắp xếp hợp lý hoá chỉ mang lại lợi ích tối thiểu trên những chiếc máy bay lớn và bay chậm. Để nghiên cứu hiệu ứng của kiểu vỏ nhăn, vào tháng 1-2 năm 1935 một chiếc TB-3-4AM-34R đã được lắp thêm lớp vỏ nhăn bằng vải. Cách này giúp tăng 5.5% tốc độ tối đa và 27.5% trần bay. Chiếc máy bay này cũng đã cho thấy sự gia tăng đáng kể trong tốc độ lên khi được trang bị bốn cánh quạt dẹt thực nghiệm.[1]

• TB-3-4M-34R đã lập kỷ lục bay lâu 18 giờ 30 phút.
• TB-3-4AM-34FRN với phi công A. B. Yumashev đã lập một số kỷ lục chất tải/độ cao:
  • 11 tháng 9 năm 1936 - 5000 kg (11.023 lb) tới độ cao 8116 m (26.627 ft), lên tới 8980 m (29.462 ft) ngày 28 tháng 10.
  • 16 tháng 9 1936 - 10000 kg (22.046 lb) tới độ cao 6605 m (21.670 ft)
  • 20 tháng 9 1936 - 12000 kg (26.455 lb) tới độ cao 2700 m (8.858 ft)